Spatio-temporal summarization of dance choreographies

Department of Informatics and Computer Engineering, University of West Attica, Athens, Agiou Spyridonos Street, 12243 Egaleo, Greece

crossmark-logo

An important issue in performing dance analysis is the automatic extraction of its choreographic patterns, since these elements provide an abstract representation of the semantics of the dance and encode the overall dance storytelling. However, application of conventional video summarization algorithms on dance sequences cannot appropriately retrieve their choreographic patterns, since a dance is composed of an ordered set of sequential elements which are often repeated in time. Additionally, 3D geometry is lost using color information. For this reason, in this paper we propose a new dance summarization scheme of 3D motion captured data (in the form of skeleton joints coordinates) recorded using the Vicon motion capture system. The proposed key frame extraction method implements a hierarchical scheme that exploits spatio-temporal variations of dance features. Initially, global holistic descriptors are extracted to localize the key choreographic steps of a dance (coarse representation). Then, each segment is further decomposed into finer sub-segments to improve dance representativity (fine representation). The abstraction scheme exploits the concepts of a Sparse Modeling Representative Selection (SMRS) appropriately modified to enable spatio-temporal modelling of the dance sequences through a hierarchical decomposition algorithm. Our approach is evaluated on thirty folkloric dance sequences recorded at the Aristotle University of Thessaloniki under the framework of Terpsichore project representing five different choreographies and on publicly available datasets from Carnegie–Mellon University, which depict performances on theatrical kinesiology. Comparisons with other traditional video summarization methods indicate a clear superiority of the proposed hierarchical spatio-temporal decomposition scheme.

なぜなら、これらの要素はダンスの意味論を抽象的に表現し、全体的なダンスのストーリーテリングを符号化するからです。しかし、従来のビデオサマリゼーションアルゴリズムをダンスシーケンスに適用しても、振付パターンを適切に抽出することはできません。また，色情報を利用した場合，3次元形状が失われてしまう．このため，本論文では，Viconモーションキャプチャシステムを用いて記録された3次元モーションキャプチャデータ（骨格関節座標）を用いて，新たなダンスサマリ化手法を提案する．提案するキーフレーム抽出手法は，ダンスの特徴の時空間的な変化を利用した階層的なスキームを採用している．最初に，グローバルな全体記述子を抽出し，ダンスの主要な振付ステップを局所化する（粗い表現）．次に、各セグメントをさらに細かいサブセグメントに分解して、ダンスの表現性を向上させます（微細表現）。この抽象化手法は、階層的な分解アルゴリズムを用いてダンスシーケンスの時空間モデル化を可能にするために適切に修正されたスパースモデリング代表選択（SMRS）の概念を利用している。我々のアプローチは、テッサロニキのアリストテレス大学でTerpsichoreプロジェクトの枠組みの下で記録された30のフォークロアダンスシーケンス（5つの異なる振付）と、カーネギーメロン大学から公開されているデータセット（演劇的キネシオロジーのパフォーマンスを記録したもの）を用いて評価した。他の従来のビデオサマリゼーション手法との比較から、提案された階層的時空間分解スキームの優位性が明らかになった。